Trước 1937, biên chế đơn vị chính thức cao nhất của Lục quân Đế quốc Nhật Bản là cấp sư đoàn. Trong quốc nội, mọi sư đoàn đều được đặt trực tiếp dưới quyền điều động của Đại bản doanh với Tổng tư lệnh về danh nghĩa là Thiên hoàng. Ở hải ngoại, các sư đoàn được đặt dưới sự chỉ huy của các bộ tư lệnh thống nhất, được gọi là quân (軍, gun). Các bộ tư lệnh thống nhất đầu tiên gồm có Chi Na trú đồn quân (支那駐屯軍, Shina Chutongun; thành lập 1901), Triều Tiên quân (朝鮮軍, Chōsengun; thành lập 1904), Đài Loan quân (台湾軍, Taiwangun; thành lập 1919) và Quan Đông quân (関東軍, Kantōgun; thành lập 1919). Ngoại trừ Triều Tiên quân có quy mô cấp sư đoàn, các quân còn lại đều có quy mô cấp quân đoàn.

Khi chiến tranh Trung-Nhật nổ ra, các đơn vị cấp quân đoàn chính thức được thành lập, đồng thời hình thành biên chế đơn vị mới là cấp phương diện quân. Phương diện quân đầu tiên của Lục quân Đế quốc Nhật Bản là Phương diện quân Bắc Chi Na (北支那方面軍, Kita Shina hōmengun), thành lập ngày 31 tháng 8 năm 1937, do Đại tướng Terauchi Hisaichi làm tư lệnh, gồm Quân đoàn 1, quân đoàn 2, 2 sư đoàn độc lập và Lữ đoàn hỗn hợp đồn trú Trung Quốc (tổ chức lại từ Chi Na trú đồn quân). Đến ngày 7 tháng 11 năm 1937, Phương diện quân Trung Chi Na (中支那方面軍 Naka Shina hōmengun) cũng được thành lập. Quân số của các phương diện quân Nhật Bản thời kỳ này xấp xỉ từ 70 000 đến 100 000 quân, tương đương với cấp tập đoàn quân tiêu chuẩn của nền quân sự châu Âu đương thời.

Từ năm 1939, do nhu cầu mở rộng chiến sự ở Trung Quốc, một biên chế cao hơn cấp phương diện quân là tổng quân (総軍; sōgun) được thành lập. Đơn vị cấp tổng quân đầu tiên là Chi Na phái khiển quân, thành lập ngày 12 tháng 9 năm 1939, với quân số khoảng 220 000 quân, tương đương một phương diện quân của Liên Xô giai đoạn 1941-1942. Đến cuối chiến tranh thế giới thứ hai, các tổng quân mở rộng về quân số; như Quan Đông quân có quân số lên đến 1 triệu người vào giữa năm 1945.

Do đều sử dụng danh xưng chung là gun nên rất dễ gây ra nhầm lẫn trong các tài liệu quân sự khi các đơn vị cùng mang danh xưng này. Có đơn vị ngang cấp Phương diện quân như Quan Đông quân (関東軍; Kantōgun), lại có đơn vị tương đương cấp tập đoàn quân như Đông Bộ quân (東部軍, Tobugun), nhưng cũng có đơn vị chỉ tương đương cấp quân đoàn như Đệ nhất quân (第1軍, Dai-ichi gun).

Do biên chế chỉ tương đương với một tập đoàn quân của châu Âu, một phương diện quân của Lục quân Đế quốc Nhật Bản thường gồm 1-2 quân đoàn, 3-6 sư đoàn độc lập, một số lữ đoàn, các đội vệ binh và cảnh vệ. Một số phương diện quân của Lục quân Đế quốc Nhật Bản được bổ sung thêm các đơn vị không quân, hải đội.

Trước khi Nhật hoàng tuyên bố đầu hàng, Lục quân Đế quốc Nhật Bản vẫn còn 18 đơn vị cấp phương diện quân đang hoạt động.